FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience
FlowBalance：验证器校准的轨迹平衡自改进
🧭 LLM 自改进训练 · 轨迹平衡
Tencent HY LLM Frontier · University of Pennsylvania
用 verifier 校准 on-policy 自引导分数，并通过轨迹平衡训练稳定的推理自改进
📌 工作参考价值（4 点）
- 在生成式推荐/QueryRec 的 LLM 后训练中，若已有 outcome verifier（如点击、转化、相关性），可借鉴 group advantage 校准 self-guidance 符号：正优势保留密集信号、负优势反转、无偏好时禁用，避免 dense same-model 信号强化伪自信。
- 轨迹平衡替代逐 token 模仿 loss，对长文本生成（推荐理由、搜索词扩展、商品文案）训练更稳定，能缓解长度坍塌和模式集中，适合带 terminal reward 的离线增强场景。
- 冻结策略视图产生自引导分数的方法，可在 RLHF/DPO 管线上低成本复用，减少额外 critic 或 token 级标注需求；若业务能定义可靠 verifier，可让 LLM 在搜索推荐 Agent 的推理链路上保持策略多样性。
- 无明确 outcome verifier 或奖励稀疏的业务场景，方法借鉴价值有限，主要适用于可自动判定的任务（如数学、代码、结构化查询生成）。